core: Make device/inode loose object cache work for parent repos too

Otherwise ostbuild suddenly becomes significantly slower when using a
shadow repo.

ostbuild: Few more misc fixes

ostbuild: Fix typos in component lookup path

ostbuild: Enhance source-diff with --log and --logp options

ostbuild: Add source-diff builtin

OMG OMG OMG

core: Rearrange code for clarity (doesn't actually fix leaks)

ostbuild: Drop dead branch-prefix and pull-components

And other various tweaks.

ostbuild: Various fixes, removal of dead code

ostbuild: Remove /var from components

We expect them to create on demand.

ostbuild: Fix git-mirror

ostbuild: Some work on qemu deployment

ostadmin: Update for new trees/ location of trees

ostbuild: Add import-tree

This is the new workflow:

$ ostbuild import-tree wip-gnome-menus-3.6
$ $EDITOR ~/build/ostbuild/snapshots/wip-gnome-menus-3.6-2012.1-abcd.json
$ ostbuild build

ostbuild: Tighten build process significantly

First, "resolve" now just picks git commits.  We don't expand
config-opts and patches, nor do we generate tree contents.  This makes
the generated files *much* more human editable.

Next, fold "build-components" and "compose" into just "build".  One
never really wants to just build components.  This lets us eliminate
binary snapshots as a concept; instead we always have a combination of
source snapshot and component/ refs.

ostbuild: More work on partial builds

ostbuild: Make partial builds work

If we have component-revisions in our source+binary snapshot, then
we can skip them.

ostbuild: Write out related objects on composes

ostbuild: Minor fixes

ostbuild: Make binary snapshots an extension of source

This significantly simplifies things; we no longer need to retrieve
individual components via 'pull-components', etc.

tests: Tweak valgrind suppression

core: Prefer packed metadata

core: Map metadata from repository as trusted

ot_util_variant_map() assumed untrusted; add a boolean, and use it for
the repository internals.

core: Limit recursion during traversal

The related objects commit introduced OSTREE_MAX_RECURSION; use it.

core: Add write-refs builtin

This will be used by import-tree to pipe refs to write.

core: Allow adding related objects to commits

This will be used to store the set of components.

core: Really fix saving variants with REPLACE_DESTINATION

core: Make argument parsing more robust against "lt-ostree" name

When running uninstalled, we were parsing our argv[0] incorrectly.

core: Replace pack superindex via rename() rather than truncating

This helps allow cloning repositories via "cp -al".

core: Clarify error message

ostree-pull: Avoid an uninitialized variable warning

core: fix a typo

ostree config had two 'set' subcommands, but no 'get'.

core: Don't look in packs if we found loose object

Unless the caller wants us to; which at present none do, but let's be
forward looking and add an option.

ostbuild: Add ostree-revision in buildroots, bin-to-src

First, for binary snapshots we need to include the exact revision of
the architecture buildroot.  To do that, introduce
"architecture-buildroots2".

Second, for bin-to-src, we'd like to allow "partial" builds.  So while
we do expand everything to source, *also* include the binary
ostree-revision.  This will allow building just one component, while
reusing the previously built binaries.

ostbuild: Fix pull-components

We need to pull the actual commits, not the refs.

pull: Use API to stage files with length

Not doing so at the moment triggers a bug in the staging path, and
it's more efficient anyways.

pull: Add --prefer-loose option

This is a hack...

core: unpack: Add --keep-packs option

Matches the pack --keep-all-loose.

core: Fix ostree-pull to be able to look up remotes in parent repo

We should probably add a generalized inheritance mechanism.

core: pack: Keep loose objects which are referenced externally

By default, don't delete loose objects which have hard links.  This
has the natural semantics that if you delete all the checkouts, you
probably want it packed.

Conversely, if it has a hard link, we do want further checkouts to
share storage, even if we pack in between them.

core: unpack: Actually delete no-longer-needed pack files

ostbuild: resolve: Add --fetch-patches option

This is kind of lame, but...

ostbuild: Allow using dirty-git: for patches too

ostbuild: Use .lastfetch file per branch

This way we don't try to update gtk+ twice, once for gtk master and
once for gtk-2-22.

ostree.doap: Update

ostree-pull: Fix segfault by initializing pull_data earlier

In the case of not being able to check the repository or not being able
to parse command line arguments, attributes from "pull_data" would be used
with garbage in them. This patch makes initialization of the sctructure to
happen earlier so it is safe to use in those cases.

ostbuild: build-components: Ensure specifying components forces rebuild

Move gnomeos/ to "gnome-ostree" module

Now that we're hopefully going to be changing the format less.  The
layering here is now more clear, rather than having things entangled.

Release 2012.6

build: A few dist fixes so a tarball build works

ostadmin: Use /ostree for current working directory of checkouts

Otherwise we put them in the wrong place.

ostadmin: Make a /ostree/current symbolic link

ostadmin: Initial code

ostbuild: further fixes to pull-components

Call self.parse_config() so that all necessary directories are parsed.

Also don't call nonexistant self.parse_active_branch() and just use
self.active_branch since it's already have been initialized.

gnomeos: fix ostree-install.sh

add back ARCH and BRANCH_PREFIX constants which are still in use.

15_ostree: only look for ostree initramfs

also only add a kernel entry if we find a corresponding initramfs

ostbuild: Default to (previous) --skip-built

For components specified on the command line, we now force a rebuild.
There's also a new option to skip if the git revision matches, but
metadata changed (useful for now to avoid cascading builds if you know
you don't need it).

NetworkManager: Fix permissions on config file

https://mail.gnome.org/archives/ostree-list/2012-May/msg00008.html

ostbuild: make pull-components work

This builtin did not work for me. It did not initialize self.repo,
it used the nonexisting parse_active_branch function unconditionally,
and it did not actually find the list of components in contents.json.

This commit fixes all three of these issues.

Fix a typo

ostree: avoid a segfault

When running ostree --repo=/ostree/repo without further arguments,
we end up calling strcmp with one argument being NULL.

checkout: Deal gracefully with bad input

I had a /ostree/gnomeos-3.4-i686-devel directory, and this caused
ostree --repo=repo checkout gnomeos-3.5-i686-devel
to segfault.

Release 2012.5

core: pack: Fix calculation of size of pack objects

In archive mode, due to the previous change, we're now only
looking at metadata size, which is clearly wrong.

core: pull: Fix regression from memory leak fixes

gnomeos: Delete some files that are now on the wiki

Release 2012.4

core: Compile again on GLib 2.28

Release 2012.3

Revert "manifest local"

This reverts commit b05275865206acaf6b991212208984df878d86ba.

Conflicts:

gnomeos/3.4/gnomeos-3.4-src.json

ostbuild: Drop use of link cache, it's gone now

Clean up install scripts

ostbuild: Create deploy-qemu subcommand

gnomeos-setup: Initialize /var dynamically in ginitscripts

Rather than doing it in an installer.

triggers: Print name of each trigger we're running

ostbuild: Make --shell-on-failure flag to work

Fixes an issue which would cause ostbuild to fail to spawn the
debug shell and print a traceback instead.

ostbuild: More work on deploy commands

ostbuild: Use --from-file for buildroot compose for easier debugging

ostbuild: Rename shadow-repo-init -> init

qemu-pull: Update to use pull-local

ostbuild: Checksum full component metadata for --skip-built

If we're using --skip-built, we really do want to rebuild if anything
changed (like the build dependency, configure arguments etc.)

ostbuild: Break out git-mirror from resolve

Other bits

ostbuild: Use expanduser

ostbuild: Lots more

ostbuild: Resolve takes --manifest arg

ostbuild: Add tree-to-bin and bin-to-src

ostbuild: Fix DB saving with /tmp and builddir in different volumes

This fixes the case where /tmp resides in one volume, and the build
directory in a different one: by storing the temporary file in the
same directory as the target one, we avoid the case in which os.rename()
would cross file system boundaries.

Reviewed-by: Colin Walters <walters@verbum.org>

ostbuild: Major rework

manifest local

ostbuild: Show ostbuild log messages in warningfilter again

gnomeos-install: Call ostree.gnome.org server "gnome", not "origin"

core: checkout: Add --from-file option too

Easier for debugging if we don't have to redirect stdin.

Conflicts:

src/ostree/ot-builtin-checkout.c

core: Improve error message if we hit an unreadable file

core: Add a mutex to cache data structures in preparation for threading

Conflicts:

src/libostree/ostree-repo.c

core: pull-local: Be a bit more verbose, don't open objects we already have

core: Avoid checksumming hardlinks that point into repository

By default, when doing a commit, scan all of our loose objects and
build up a (device,inode) -> checksum hash.  Then when we're doing a
commit, if we see a file with that (device,inode) pair, we can avoid
checksumming it.

core: Drop --link-cache option, we do it by default now for archives

core: [INCOMPATIBLE CHANGE] Re-split archive content into .file and .filecontent

This will allow us to use hard links again for user-mode checkouts,
rather than the hackish link cache.  It was pretty silly anyways to
have file objects be stored with just a small metadata header
prepended, but uncompressed.

Either they should be hardlinkable, or compressed (in pack files).

core: Handle zero-sized archives, improve fsck error message

core: Add valgrind framework, plug various memory leaks

core: Optimize commits to raw repositories

Avoid creating a temporary intermediate file in the case where we have
the total object length available.